Failed Reasoning Traces Tell You What Is Fixable (But Not by Reading Them)
失败推理轨迹暗含可修复性，无需阅读文本即可诊断
🧭 推理模型测试时故障诊断与路由
Mila - Quebec AI Institute · Université de Montréal · Polytechnique Montréal · CHU Sainte-Justine
从失败轨迹的分布特征中提取三个问题级特征，实现测试时故障分类与路由，提升修复成功率12.2%。
📌 工作参考价值（4 点）
- 在 Agent 多步推理或推荐解释生成中，可利用轨迹分布特征（如输出一致性、多样性）区分偶发性失败与结构性失败，从而决定是重试、引导还是更重干预，避免无谓计算。
- 提出的无训练路由规则直接使用输出级别统计量（无需解析文本），可嵌入到线上系统实现快速失败分类与资源分配，特别适合延迟敏感的电商搜索或对话推荐场景。
- 特征跨模型家族迁移，意味着对黑盒推理 API 也能通过采样子集构建诊断器，无需访问权重或训练数据，适合在第三方模型上部署。
- 通过分析不同后训练方法下的失败地形，可指导 fine-tuning 策略：若模型在特定失败类别上聚集，可针对性补充训练数据或调整偏好。